ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation
ShortOPD：通过短到长在轨蒸馏恢复剪枝后LLM生成能力
🧭 结构化剪枝后LLM的生成能力恢复训练
ByteDance · Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
基于短到长的在轨蒸馏，消除冗余后缀以加速剪枝LLM的生成恢复训练
📌 工作参考价值（4 点）
- 剪枝压缩后的大模型在线上生成时出现质量崩塌（如重复后缀），可直接借鉴 ShortOPD 的在轨蒸馏恢复方案，用未剪枝模型做教师，快速回血生成能力。
- 短到长训练调度能大幅度减少低信息量重复令牌的训练开销，适合需要严格控制训练预算的场景（如电商智能客服、推荐理由生成），可加速迭代。
- 重复前缀检测与截断策略可作为通用技巧，集成到长文本生成的在线学习或 RLHF 流程中，避免模型在无效 token 上浪费算力。
- 对于 Agent 系统中的核心大模型，若经历量化或剪枝后指令跟随能力下降，可用此方法微调恢复，保障多轮交互的任务完成率。